Skeleton Plays Piano: Online Generation of Pianist Body Movements from MIDI Performance

楽曲からピアニストの動きを生成

Generating expressive body movements of a pianist for a given symbolic sequence of key depressions is important for music interaction, but most existing methods cannot incorporate musical context information and generate movements of body joints that are further away from the fingers such as head and shoulders. This paper addresses such limitations by directly training a deep neural network system to map a MIDI note stream and additional metric structures to a skeleton sequence of a pianist playing a keyboard instrument in an online fashion. Experiments show that (a) incorporation of metric information yields in 4% smaller error, (b) the model is capable of learning the motion behavior of a specific player, and (c) no significant difference between the generated and real human movements is observed by human subjects in 75% of the pieces.

与えられた象徴的なキー押下に対するピアニストの表情豊かな体の動きを生成することは、音楽の相互作用にとって重要であるが、ほとんどの既存の方法は、音楽のコンテキスト情報を組み込んで頭や肩などの指から離れた体の関節の動きを生成することができない。 本稿では、オンラインでキーボード楽器を演奏するピアニストの骨格シーケンスにMIDIノートストリームと追加のメトリック構造をマッピングするためにディープニューラルネットワークシステムを直接トレーニングすることによって、このような制限に対処します。 実験は、（ａ）メトリック情報の組み込みが４％小さい誤差で生じること、（ｂ）モデルが特定のプレーヤの動作挙動を学習することが可能であること、および（ｃ）生成されたものと実際の人間の動きの間に有意差が観察されないことを示す。 作品の75％の人物による。

@inproceedings{LiMD18,

author = {B. Li and

A. Maezawa and

Z. Duan},

title = "{Skeleton Plays Piano: Online Generation of Pianist Body Movements from {MIDI} Performance}",

booktitle = {Proceedings of the 19th International Society for Music Information

Retrieval Conference, {ISMIR} 2018, Paris, France, September 23--27,

2018},

pages = {218--224},

year = {2018},

crossref = {DBLP:conf/ismir/2018},

timestamp = {Tue, 20 Nov 2018 15:33:12 +0100},

}